全文转载自微信公众平台“法律和社会科学”，研习营学者丨程金华：迈向科学的法律实证研究，原文刊于《清华法学》2018年第4期。
程金华，现任上海交通大学凯原法学院特聘教授、博士生导师、副院长，上海交通大学中国法与社会研究院副院长。
【摘要】当前中国法律实证研究虽然取得了重大成就，但是依然存在较多问题，需要对现存问题进行技术性讨论、批评和反思。研究中存在的问题主要有三个方面，分别为论题、理论、论据和结论这四大研究要素的残缺，研究要素在理论世界和经验世界的转换不当，以及它们之间的不当衔接。由于这三类问题的存在，使得相当一部分法律实证研究论著出现研究选题乏味、理论应用不力、量化数据不足和统计操作随意的技术缺陷。这些缺陷构成了当前中国法律实证研究进一步发展的瓶颈。文章建议，中国法律实证研究者在进一步建设学术共同体的同时，应当致力于共同遵循科学研究的“正当程序”来推进实证研究迈向科学。【关键词】法律实证研究；数据法学；学术批评；研究路径；问题意识目次
一、引言：批评法律实证研究的技术视角
二、实证研究的要素、路径与问题类型三、研究选题的乏味四、理论应用的乏力五、量化数据的不足六、统计操作的随意七、结语：通过“正当程序”来保障科学发现
近年来，包括以质性经验和量化数据为对象的法律实证研究在中国法学界得到了较为广泛的讨论与认可，并且讨论的范围越来越广、认可程度越来越高。尤其是，关于法律实证研究的价值，已经到了较为系统的表述和认可。作为本文分析对象的法律实证研究中的量化研究也得到相当的发展，以法律数据的挖掘和分析为业的“数据法学”应运而生，与早先的“计量法学”等形成了“百花齐放、百家争鸣”的繁荣局面。然而，在操作层面，量化的法律实证研究在全世界也算刚刚起步，存在这样或者那样的问题。即便在引领世界潮流的美国学界，法律实证研究的操作问题也广受诘难。本世纪初，美国两位知名学者李•爱泼斯坦(Lee Epstein)和加里•金(Gary King)曾经在《芝加哥大学法律评论》上撰长文，对当时美国法律实证研究的现状进行了非常系统的批评。他们对在1990-2000年间美国所有法律评论发表的两百多篇法律实证研究文章进行了系统研究，认为每篇文章都至少有一处违反了社会科学实证研究所必须遵守的“推论规则”(rules of inference)。这两位学者以“入门指南”的写作方式对美国法学界所发表的实证研究文章全面开火，令美国法学界非常难堪，并引发了针锋相对的辩护。然而，该文虽然用语简单、并没有太高深的理论建构，但分析非常系统，批评非常严肃，建议非常有针对性，奠定了美国学界反思法律实证研究质量的基调，并引发了后来一系列关于法律实证研究作品“质量控制”的思考。爱泼斯坦和金是从事(法律)实证研究的一流学者，对实证研究价值坚信不疑，但对研究操作的批评毫不留情面，是“恨其不争”的批评，其意义远远大于诸如“法律实证研究有什么价值”这样的宏观讨论。这种批评采用内部人的技术批评、操作反思的视角，非常有意义。在中国，已有不少学者指出了本土法律实证研究实践所存在的问题，提出了合理的批评。更难能可贵的是，一些法律实证研究学者非常自觉地意识到了自我反思、自我批判的重要性。比如，左卫民认为，在已有的关于中国法律实证研究的研究中，“研究者本身大多未直接展开基于数据的实证研究，所以其讨论多为外部性论述，可能不够系统和深入，尤其是对实证研究所面临的实际问题和挑战可能体察不够”，所以他建议，“中国法律实证研究之路需要长期研究者在观瞻他者的同时省思自己”。这是中国法律实证研究实践者自我反省意识的具体体现，非常有意义。徐昕更加确切地提到，“为了……促使法学研究更多地面向实践，关注中国问题，……有必要对法律实证研究的误区、方法与技术进行系统讨论。”在本文中，站在一个“内部人”的立场，我继续推进这种技术讨论，着重在操作层面对当前中国法律实证研究实践中的问题进行归纳、反思，希冀得到学界的共鸣，并认真对待之。当然，有些学者会觉得过度关注实证研究的方法和技术，在现阶段没有必要，没有意义。比如，苏力认为，“无需关心实证研究的概念、定义和要件，甚至方法之类的话题，这并不重要。就方法而言，不能过分迷信方法，认为方法有直达上帝或者真理的专线。很多人是因为发现自己没有思想的时候，才开始注重方法。”或者，有些学者会对实证研究的技术问题持有一种更加温和的、实用的“相对合理主义”立场。比如，陈若英认为，“对当今的中国法制建设和法律实证研究而言，强调研究方法本身的技术性也许并非最紧迫的任务，培养从社会现实中发现研究对象的问题感和遵循学术规范和透明度前提下的创造性也许是更为紧迫的价值和目标。”我部分同意上述看法，即：问题意识和创造性是实证研究的学术生命力所在，技术手段永远是辅助的。但是，在另一方面，我也坚持，缺乏合理方法支持的学术创造总是似是而非，难以有十足的说服力。尤其是，所谓“法律大数据时代”的来临，日益丰富的数据，越来越掩盖了当前中国法律实证研究所滥觞的技术问题，使得实证研究成果更具——深层次的——科学性问题。当然，研究方法与技术未必是通往真理和思想的充分条件，统计也会撒谎。但是在概率上讲，遵循大家有共识的学术范式与技术，往往更容易达到真理、提出新思想。简言之，研究方法与技术不是万能，但是不谈基本的方法与技术，更容易走“歪门邪道”。进而言之，对于想进入实证研究领域的初学者而言，遵循基本方法和技术是有效开展学术研究的“扶手”，这也是实证研究视为一门“学科”(discipline)的基本要义。所以，我在本文中继续——并更加系统地、深入地——推进从技术角度检讨、批评和反思当下中国法律实证研究的现状。本文的组织结构如下。首先将对实证研究的要素和路径进行归纳，并在此基础上提炼出所有法律实证研究潜存的几类问题。然后，结合问题类型，本文将分别从研究选题、理论应用、数据收集和统计操作的角度对法律实证研究存在的问题进行更加具体的剖析。最后，基于前文的研究，文章进行简单总结，并提出一些改善当下法律实证研究品质的倡议。
这部分首先搭建一个理解实证研究(在一定意义上也是所有法学研究)路径的理论框架，并对实证研究的潜在问题做个类型化概括，方便后文进行更加细致的技术分析。像其他科学论著一样，一个好的法学研究，通常从一个好的论题开始，在分析已有文献的基础上，开展自己的进一步研究，寻找到扎实的理论或者经验证据，得出自己的结论，来回应本研究的论题。在这样一个过程中，有四个基本研究要素，它们分别是论题、文献、论据与结论。同时，把这四个要素衔接在一起的过程就是不同阶段的论证过程。对上述四个基本研究要素的取舍与侧重，构成了学术研究的不同路径。一种路径是“全程”的路径，也就是把四个核心要素用论证过程串联起来的研究路径。此外是不同类型的“捷径”。当前中国法学研究采用的“捷径”大致有三种。第一种是，有了研究论题之后，围绕这个论题，对相关的文献进行了归纳和评述，便直接得出自己的结论，然后就结束了。此类文章，通常被称为学术评论，如果写得好，也非常有价值，尤其是对于想了解这个领域研究进展的读者而言。但是，这种文章的特点是没有提供自己的新证据，通常也缺乏有力论证，所以基本上很难有学术创新性。第二种是，有了研究论题，但跨过文献综述，直接利用不同类型的证据展开论证，并由此得出结论去回应论题。也就是说，此类研究缺乏文献回顾。严格地讲，完全没有提及文献的学术文章非常罕见，但是没有认真做文献综述的法学研究文章不在少数。这种情况是，要么作者是本领域的“大佬”，觉得没有必要去做文献分析，要么是本领域的“菜鸟”，实在不知道怎么做文献分析。第三种是，有了论题，做了文献综述，然后利用一定的证据开展论证，但是没有（明显）的结论，或者结论只是证据的简单总结，并没有做精准的理论提炼去回应论题。上述对法学研究要素和路径的归纳暗含了法律实证研究可能存在的第一类问题，不妨称其为研究要素“残缺”问题。很显然，缺乏证据的研究，就不能称之为实证研究。论据——确切说经验证据——的残缺对于实证研究而言，自然是个大问题。同时，除了经验证据，实证研究作品也可能会缺乏其他三个要素——论题、文献、结论——中的一种或者多种。这都是研究要素残缺的问题。对于实证研究而言，核心研究要素的残缺，不是问题的全部。即便研究要素齐全了，还会面临着研究要素在抽象的理论世界和具体的经验世界之间不能“转换”或者“转换”不当的问题。要理解这类转换性问题，得从实证研究中的操作化讲起。操作化是让抽象的概念（理论）转变成可测量的经验现象（命题）的过程。比如，“司法不公”是我们经常提到的抽象概念。那么，如何实证地比较一个地方的司法比另外一个地方的司法更不公正？研究者就通常用两个地方的冤假错案率来进行比较。从抽象的“司法不公”到可计算的“冤假错案率”就是一个操作化的过程，这也是一个从理论世界转换到经验世界的过程。反之，如果我们看到了一个地方的冤假错案比另一个地方更多，就判定前者比后者更加“司法不公正”，这是一个从经验世界转换到理论世界的过程。在理想的法律实证研究中，论题、文献、论据和结论这四个要素，都在不同程度上存在理论与经验之间的转换，既避免纯粹理论研究的“空对空”，也超越纯粹经验观察的“就事论事”，并实现经验到理论的升华。[美] 艾尔·巴比：《社会研究方法》（第十一版）
邱泽奇 译，华夏出版社，2009年版
（图片来源于豆瓣网）
具体而言，在实证研究的论题描述中，最好既存在有意义的抽象性问题，也说明与之相关的经验性问题。在文献综述中，通常也有两个层次，一个层次是前人研究对论题的理论见解，另一个层次则是基于这些已有见解所形成的可以在经验上证明或者证伪的命题假设。而实证研究中论据的转换则在全样本和抽样样本之间发生——在大部分情况下，全样本证据不可获知，只存在于理论世界中，在经验世界中只能依赖科学的抽样证据来推论全体。最后的结论要素，同样有两个层次，一个是对经验发现的总结，另一个是从经验总结中提炼出来的理论性结论。研究要素没有在理论世界和经验世界进行合理的转换，是许多法律实证研究所存在的普遍性问题。这是我要归纳的第二类问题，不妨称其为研究要素转换问题。除此之外，法律实证研究还存在第三类的研究要素之间的“衔接”问题。前文提到，实证研究从论题到文献，从文献到证据，从证据到结论，每一个环节都需要进行合理的衔接。这些衔接都可以称之为论证过程。衔接不当，就出现论证不当的问题。比如，在论题和文献之间，一个研究或许有了清晰的论题，但是文献综述可能与论题之间并没有直接联系，就形成了“文不对题”的论证问题。同理，文献和证据之间，经验证据可能不是直接去证明或者证伪基于文献所形成的命题假设；在证据和结论之间，结论可能不是基于经验证据形成的。这些问题都属于研究要素之间的衔接问题。为了更好地理解上述三类问题，我对上文提到的法律实证研究的要素与路径做了一个示意图（如图1）。
如图1所示，一个理想的法律实证研究，存在两个论证循环，一个在理论世界，另一个在经验世界，并且在四个要素那里都可能发生转换。图中深灰色的外圈描述了实证研究在抽象理论世界的四个要素（抽象论题、理论文献、全样证据和理论结论）以及这四个要素之间彼此一一衔接的六个步骤（从I到VI）。其中，从I到IV代表了抽象论题—理论文献、理论文献—全样证据、全样证据—理论结论、理论结论—抽象论题这四个论证过程，这些前文已经大体提及。此外，V和VI分别代表理论文献—理论结论、全样证据—抽象论题的衔接，也非常重要。尤其是，法律实证研究在提炼出理论结论之后，不仅要去回答抽象问题，也要去呼应已经提及的理论文献（图1中的V），由此推动本研究领域的理论发展。从I到VI这六个论证衔接的组合，也显示了不同的研究路径。比如I + IV + V的组合，就是前文提到的评论文章。再如，III + IV + VI的组合，就是前文提到的缺乏文献回顾的研究。这些都是研究要素残缺的“捷径”研究。同时，图1中浅灰色的内圈描述了实证研究在经验世界的四个要素（经验问题、假设命题、抽样证据和经验发现）以及这四个要素之间彼此一一衔接的六个通道（从i到vi）。这些经验性要素和彼此衔接的路径，也构成了一个封闭的论证循环。由于实证研究存在两个论证循环，所以前文提到的四大要素，实际上变成了四对要素，即抽象论题/经验问题、理论文献/假设命题、全样证据/抽样证据、理论结论/经验发现。实证研究的要素残缺首先意味着上述四对要素中的任一对要素的整体缺失，其次意味着在八个要素的任一单个要素的残缺。当然，任何一对要素的整体残缺，几乎会产生问题。反之，单个要素的残缺，得视情况而定。比如，如果实证研究可以利用全样本数据，就无需利用抽样证据。同时，正如前述，理论要素和经验要素之间转换非常重要，没有从理论世界向经验世界的转换，就不构成实证研究；如果只有纯粹的经验探索，没有对此进行抽象的理论归纳，那通常也不会有太好的“理论故事”。在论证衔接方面，通常是理论论证回答理论问题，经验探索回应经验问题。这也意味着，一方面，无论是I到VI这个论证循环，还是i到vi这个循环，都可以是自洽的；而在另一方面，某两个理论要素之间的论证衔接，通常又依赖于相对应的另外两个经验要素之间的论证衔接。比如，用理论结论去回答研究的抽象论题（图1的IV），通常建立在经验发现对经验问题的有效回答基础上（图1的iv）。上文对实证研究三大类潜在问题的分析，在一定程度上也呼应了白建军关于程序是实证分析第一要素的界定。他认为，法律实证研究中的程序首先意味着过程性，“从发现并提出问题，到建立理论假设、工作假设，到实地观察、调查、收集资料，再到整理、统计、分析资料，最后解释分析结果，得出研究结论，实证分析由相互联系的若干步骤构成一个完成的过程”；以及，“程序性还意味着规范性，这不仅要求按照统一公认的要求撰写论文、作好注释，更重要的是强调概念的操作化、抽样的随机性、数据采集的客观真实、资料编码、统计分析、数据解释、报告结果等过程的标准化”。法律实证研究中发生的要素缺失、理论与经验之间的没有转换或者转换不当、要素之间没有衔接或者衔接不当，就是违背了实证研究的“正当程序”。在对法律实证研究的潜在问题进行了类型化之后，我接下来结合一些实例，对各类问题进行更加细致、具体的剖析。先从论题或者选题开始。好选题是好研究的出发点和终点。法律实证研究亦是如此。选题存在两个层面的“问题”，一个层面是本研究想要直接或者间接解决的理论或者现实问题（problems），另一个层面是本研究清清楚楚提出来、并要回答的研究问题（questions）。为了避免混淆，本文借用何海波的观点，还是用“问题”去指代problems，用“话题”指代questions。这样的话，选题或者论题包括问题与话题两个层面。一个学术研究必须清晰地提出话题，并予以明白的回答，否则不算成功。然而，解决问题并不容易。在一个学术研究中，即便话题被成功解答了，背后的问题未必能够解决，因为可能需要大量的系列话题研究才能解决一个理论或者现实问题。上面这段话有些拗口，我举个例子说明。在一篇关于中国民间借贷利率规则的实证研究中，我在文章开门见山就指出：“如何确定一个合理的民间借贷利率规则，即究竟由借贷双方自由商定利率还是限定一个（合理的）法定利率上限，是一个始终贯穿中国历史的现实问题。”这显然是本研究选题中的问题。文章又进一步指出这个问题既需要法教义学研究的努力，也需要实证研究的努力——并且，即便是实证研究，也包含了对民间借贷相关的大量事实话题，而本文只能研究“法官是如何认定利息的，如何计算四倍基准利率”这个非常具体的司法实践的经验事实。后者是本研究的话题，即便成功解决了，也未必能够解决民间借贷利率规则建构这个问题。结合这个例子，我想进一步说明：在实证研究中，论题这个研究要素在理论世界与经验世界之间的转换，通常也是理论问题(theoretical problems)与经验话题(empirical questions)之间的转换。中国的法学研究缺乏问题意识，没能提出好选题，是我们老生常谈的现象了。顾培东归纳了当前法学研究问题意识中的五大问题，一是研究问题不是法治实践的问题，二是研究问题是法治现实中的边缘化问题，三是研究问题对中国法治以及法治意识形态建设并不实际作用，四是理论研究扭曲了问题的实质，五是问题意识没有最终落脚于问题的解决。这些概括可谓是一语中的，几乎适用于所有类型的法学研究，包括法律实证研究。当然，相对于法教义学研究而言，当前中国的法律实证研究选题方面的问题也有其独特性。法律实证研究通常不存在论题的整体缺失，否则基本上没有办法开展研究。换句话说，只要是抱着实证的态度开展研究的，至少会存在一两个具体的经验性话题，否则研究的开展难以想象。同时，更为关键的是，法律实证研究的选题问题还表现在“理论问题”和“经验话题”之间的没有转换或者转换不当上。我把当前中国法律实证研究选题的问题纳为形形色色的“乏味”，也就是不能“勾引”读者的“知识味蕾”。具体而言，又分为如下几种情形。首先是实证研究选题的“没味”，也就是说，选题谈不上有问题，但是也不能引起读者的兴趣。比如，我自己在前几年做个一篇关于中国律师执业选择的研究，花了大量的时间去统计《中国律师年鉴》第1至6卷(2000至2009年)中所有律师工作方面的数据，包括人员信息、业务信息和收费信息等，并试图基于这些数据对律师择业的“集体非理性”做一个归纳和解释。尽管我本人至今认为这个问题还是有意思，值得大家去关注，但是根据中国知网的检索结果显示，至今该文只被引用1次，而且还是我本人的自引。这是一种非常令人难堪的情形。很有可能，这样一个实证选题，对于中国法学期刊的读者而言，是“没味道”的。很多当前实证研究的选题存在同样情形。其次是实证研究选题的“小众口味”，也就说所研究的问题非常深奥或者偏门，并且通常需要读者较高的知识门槛去理解，因此使得绝大多数的读者望而却步。比如，我的同事李学尧、葛岩等人发表在《中国社会科学》的一篇实证研究文章中提出的选题是“关注认知加工流畅程度(processing fluency)对司法裁判稳定性的影响”。其中，“认知加工流畅度”作为该实证研究的主要自变量，是目前绝大多数法学研究读者非常陌生的概念，咋一看，会感觉得“不明觉厉”，不敢、不愿、不会深读下去。推而广之，关于认知科学和法律的实验研究，目前还是非常小众的选题，由于门槛较高，研究者和读者的范围都非常有限。当然，当前小众的趣味很可能演变成今后的大众潮流，我们只能拭目以待——在这个意义上讲，也不一定是问题。最后是实证研究选题的“异味”，指的是把他国读者的知识口味当成中国读者的知识口味。像其他领域的社会科学研究一样，中国法律实证研究的选题有严重的“西化”倾向，尤其是“美化”倾向，甚至是“唯美主义”。有学者曾经委婉地对我当面指出，我自己发表的一篇关于中国律师职业发展机制文章的问题意识部分是为了迎合西方的文献而展开的。我虚心接受这个批评。不过，这也是目前中国从事社会科学研究所面临的一种尴尬局面，一方面，我们的本土研究越来越“与世界接轨”，也意味着越来越应用“世界标准”的学术语言在写作——经济学和社会学体现得尤为明显。另一方面，为了使“中国问题”与“世界理论”有直接对话的可能性，在选择问题的时候，自觉不自觉地把中国问题“世界化”或者“外国化”了。相对于法教义学的规范研究，实证研究这种倾向更为明显。反过来，中国有很多选题值得研究，但是因为之前没有人做过研究，反而不好提问。这种情况说来有点奇怪。我自己的真实感受是这样的：如果之前有人做过实证研究，并提出了有意思的选题，那么跟踪研究在操作上是比较顺手的，而开拓性研究则面临如何提问、如果收集数据、如何创建统计模型的困境。这些困境都会成为中国实证研究者提出一个新选题的障碍。事实上，绝大多数已经发表的实证研究作品，都有一种对于成熟选题的依赖。成熟的选题，意味着相对丰富的文献、数据、统计模型和读者群，做起来比较得心应手。同时，对于实证研究而言，问题意识的确立还面临着一个致命的限制：那就是，选题跟着数据走，而不是数据随着选题来。陈若英生动地说，实证研究“看数据吃饭”。上述实证研究选题的“乏味”部分是因为客观因素制约，而另外一些则是主观因素导致的选题偏颇或者失误。从客观因素看，实证作品研究“是什么”的问题，法教义学研究“应该是什么”的问题。法律实证研究和法教义学的规范研究基本上是两条平行线，各说各话。两类研究知识的线条从选题开始就分道扬镳。无论是客观制约还是主观失误，都在很大程度上导致了当前中国的法律实证研究作品“叫好不叫座”——直接体现是，即便高质量的实证研究，引用率也不高。当然，说当前中国法律实证研究选题乏味，并不能一棒子打死。事实上，最近几年，读者能够看到越来越多有意思、有意义的选题。比如，左卫民、王伦刚和刘思达徐向华课题组等对审判委员会的实证研究就非常有意思，对于当下的司法改革也非常有意义。这个选题的意义在于，在中国关于司法改革的讨论中，审判委员会或者检察委员会有点像“过街老鼠”，人人喊打。但是，现实中的审委会或者检委会是如何运作的，好像又是一个“黑箱子”，学者们也没有怎么说明白。所以，关于审委会的实证研究，给广大读者打开了一个知识的黑箱子。另外，前文提到我自己于民间借贷四倍利率规则的研究，也引起了一些关注，主要是因为我的选题是直接针对一个规范问题展开的，并试图在实证研究之后回到规范问题的解决。类似的选题容易引起法教义学同行的共鸣。侯猛主编《法学研究的格局流变》
法律出版社，2017年版
（图片来源于豆瓣网）
在确定选题之后，实证研究的两个要素中通常涉及到相关的理论应用。一个是在文献回顾中，另一个在结论部分，并通常遥相呼应(如图1的步骤V所示)。当前中国法律实证研究作品存在明显的理论应用乏力的问题。当然，理论乏力在很大程度上是选题不佳的自然后果。在这部分，结合前文提到的三个类型的实证研究问题，我对理论应用的问题做深入的剖析。首先，相当一部分实证研究从经验话题出发到经验发现的总结结束，全程缺乏有效的理论介入。这种研究的过程就是图1的内圈所显示的，基本上是在步骤i ～ vi之间完成了实证研究，而缺乏研究要素从经验到理论的转换，也因此严重缺乏步骤I ～ VI的介入。这种做法，不能说有错，但是很可惜，牺牲了事实研究可能得出的潜在理论和政策涵义。当前发表的纯粹经验性的法律实证研究例子不少，尤其是司法实务届人士关于司法制度运行方面的实证研究尤为如此。对此，徐昕认为，当前司法实证研究的方向性误区之一是“纯叙事”，并认为“中国目前声称为实证研究的法学文献，绝大部分只能算是调查报告，就事论事，几乎没有理论贡献”。通常而言，解决一个法律制度的运作问题（此时需要问题意识），需要了解问题的现状和真相（此时需要经验研究），然后基于某种理念指引解决法律制度运作问题的解决（此时需要有针对性的理论介入）。前文提到了研究“问题”和研究“话题”的区别。从事实出发到事实结束的实证研究，通常只回答了研究话题，但是没有解决研究问题。正如爱泼斯坦和金提到，法律实证研究奉行一套“推论规则”，即从已经发现的事实（基于样本所发现的事实）推论更大范围的事实（研究对象全体的事实），以及从事实推论到解决方案。从发现的经验事实推论到解决方案，需要理论做推论的桥梁，否则是无法推论的。如果说问题意识决定了实证研究的“味道”，那么理论介入就是实证研究的“劲道”。没有理论介入的实证研究，是干巴巴的事实报告，通常会被纳入“调查报告”或者“田野报告”的范畴，而不是严谨的学术研究。由此观之，就能理解，为什么我们看很多已经出版的实证研究没有“劲道”。这些研究有经验问题、有变量、有数据、有统计、有发现，但没有理论，没有做涵义的阐释。我本人最近在参加研讨会时，有几次遇到参与者报告对裁判文书的量化研究。他/她们所关心的主要自变量之一是律师参与诉讼对于被代理人诉讼结果的影响。有些研究发现有积极影响，有些没有发现，但都没有说出为什么。对于读者而言，这样的研究其实很难释惑，反而可能引起了更多的困惑。事实上，法学界大部分的读者或者听众不太关心统计模型中某个自变量和因变量之间存在的统计上的关联，而更关心的是关联说明了什么问题，或者有什么样的理论与规范(政策)涵义。一个相关的问题或者遗憾是，当前的法律实证研究很少把法教义学的理论纳入到经验研究中去检验。这部分是因为法教义学研究并没有发展出某种理论，或者法教义学的理论并不太容易进行经验上的证明或者证伪，也部分是因为法律实证研究者对法教义学的相关理论并不熟悉，所以也就直接忽略了后者。由于法教义学的理论知识在实证研究中很大程度上被忽视，也事实上导致了法律实证研究的结果很难被法教义学的同行所重视。这对于彼此而言，都是一个损失。其次，实证研究在确定选题之后，即便是进行了认真的文献回顾，提到了形形色色的理论，但是这些理论分析，并没有转换成研究中具体可以检测的命题假设。有理论，但没有经验性假设，也在事实上中断了文献综述中的理论回顾和后文的统计分析的关联。换句话说，文献和证据这两大要素不能有效衔接上。再次，理论阐释太过于有野心，离研究的事实发现之间距离太远，甚至没有关系。前文提到，法律的量化实证研究很容易游离在两个极端：一个极端是，只有数据，没有理论故事；另一个极端是，理论故事太玄乎，没有经验发现的支撑。理论故事太玄乎有两种情况，一种情况是经验发现和理论之间没有“半毛钱”的关系，属于无中生有；另一种情况是，经验发现被不当夸大，属于夸大事实。无论是哪种情形，都属于前文提到的实证研究的第二类问题，即要素在经验世界和理论世界之间转换发生了问题。夸大的理论阐释除了有人为的主观原因之外，还同主要变量的设计与操作化有关联。如果主要解释变量操作化合理、出色，一旦有统计数据的支撑，理论故事自然而然就带出来了。反过来，如果在统计模型中缺乏精妙设计的变量，在统计分析之后，要么就是干巴巴的数据汇报，要么就是天马行空的理论阐释。最后，研究基于事实发现进行了理论提炼和总结，但是最后的理论总结和前文的理论文献之间没有呼应，前后的理论是“两张皮”。这个问题和前面的是一脉相承的。如果理论文献的回顾未能形成可供检验的经验命题，后面的经验证据就不会和前文的理论产生关联，由此得出的经验结论和提炼而来的理论总结，也当然不会和文献中的理论产生真实的对话。在当前中国的法律实证研究中，还存在一个与之相关的显著问题，就是严重缺乏对已经存在的实证研究结论进行跟踪研究和对话研究。事实上，法学界里的很多实证研究者，也是“打一枪换一炮”，对自己的前期研究也很少做跟踪研究。因为缺乏跟踪研究，理论争鸣和发展也非常难以有效开展。这个问题可以说非常普遍，非常严重。对于量化实证研究而言，有意义的批评与对话，必须是建立在共同(或者类似)的统计模型基础上，最好也是利用相关(或者类似)的数据。否则，理论对话就会是“关公战秦琼”；或者，你来自火星，我来自水星。目前，大家利用自己的数据关起门来做研究，收获得到是论文发表，并圈了一些学术的地，但是对于推动共同感兴趣的科学研究，意义很小。反过来，如果能够开展大型合作研究，就共同的问题，研发共享数据，“切磋”统计模型，可能彼此都会受益，并产生真正的社会效应程金华主编《中国式司法“合奏曲”：法律社会学视角中的案例研究》
接下来看经验证据的问题。可以说，经验证据的选用，是所有实证研究的核心。本文把经验证据分成两部分讨论，一部分是量化数据，另一部分是统计分析——做个类比，前者是“食材”，后者是“加工工艺”。没有好的“食材”，巧妇难为无米之炊；然而，没有细致的加工工艺，食材难以成佳肴。目前看来，法律实证研究存在普遍性的数据不足与统计操作的随意性问题。数据与统计中的问题，不仅使得实证研究中的经验证据残缺，也使得从经验证据与结论的衔接产生问题。本节先分析数据的问题。概言之，当下法律实证研究所依赖的数据是普遍不足的。这里的“不足”有两层涵义。一层含义是，在客观上，当前中国法律相关基础数据的数量虽然越来越丰富，但是整体质量不高。另一层含义是，在主观上，研究者在采用抽样数据时，样本的信度和效度不高，因此在“全样证据”和“抽样证据”之间的转换中存在严重问题。先说客观上的数据质量问题。一方面，可以说，得益于法律数据的几何级增长，法律实证研究在中国遇上了最好的时代。本世纪初，美国的中国法学者郭丹青已经敏锐地看到了中国法律实证研究的机遇，并向他的外国同行推介这项事业。相比当时，现在可以利用的量化法律数据信息已经不可同日而语矣。目前，不仅法律数据类型繁多，诸如裁判文书、统计年鉴、政府文书、市场数据、调查问卷和网页信息等都可以成为法律实证研究的对象，而且每一类的数据信息都有大量的学术矿藏可以挖掘。尤其是，最高人民法院的裁判文书上网工程不仅直接带来了将近5000万份的公开裁判文书，而且还催生了一个“法律大数据”产业，为法律实证的学术研究提供了非常丰富的数据产品。然而，尽管如此，在另一方面，法律实证研究在当下中国又遇上了最坏的时代，因为看似丰富的数据海洋下面，实际上处处存在暗礁。即便是裁判文书网上海量的文书数据，也是充满了大量的“bug”。法院的裁判文书，从法律数据收集和存储的角度看，存在如下一些普遍性的问题。其一，裁判文书中记载的当事人、审级、裁判法院、审判程序、案件事实、证据类型、裁判结果、结案时间等信息虽然相对标准化，但是这些标准化信息实际上是案件的整个司法过程中行为和结果信息的一部分(甚至是少部分)，许多可以也应当标准化的信息并没有被文字记载或者记载在没有公开的案卷资料里，因此被“非标准化”。举个大家都熟悉的例子：在相当一部分案件中，合议庭、审判庭、审委会都可能就本案进行过讨论，但是这些讨论信息并不会出现在最后的裁判文书中，而是记录在其他地方，或者不记录。讨论不记录肯定意味着信息的损毁。即便是记录过，讨论的记录事项也是因地而异、因案而异、因人而异。同时，对讨论信息的保存方式也不一样，有些是插放在卷宗里的手写稿，有些是打印稿但电子版没有存档。可以看出，非标准化司法数据信息是千差万别的。对于大量的非标准化数据信息，看起来令人兴奋，但是真正进行数据的量化科学分析时，到处都是“断头路”。做过数据分析的人都知道这种痛苦，正所谓“谁用谁知道”！其二，即便是标准化的司法信息，也存在各种数据错误，包括标准化操作过程中的问题。根据何海波等人的数据分析，已经在中国裁判文书网发布的裁判文书中，仍然有一部分文书存在标识性信息错误，以及文书内容的表达多样化问题。如果法院的司法数据存在这样或者那样问题，那么其他类型的法律数据更是千奇百怪、形态各异，充斥着各种问题。基础数据不扎实，即便用大数据的分析工具也是事倍功半，甚至得出错误导向的结论。进一步讲，即便法律数据收集和保存良好，但如果数据被垄断、割裂，不能实现合法前提下的有效分享与共享，那么实证研究和大数据分析工具也是“英雄无用武之地”。而现状是，除了相当数量的裁判文书上网以外，绝大多数类型的中国法律数据基本上处于采集者的垄断占有之下，并形成了一座座大小不一的“数据孤岛”。法律数据采集者根据自己的采集规则和操作方法，采集自己想要的数据，在本部门的范围之内使用，回避分享和共享——如果实在有必要，只能进行数据交换使用。“数据孤岛”是中国政府数据使用普遍存在的现象。即使是公开化程度已经相当高的裁判文书，依然存在如下诸多数据分享的问题：其一，尽管最高院的规则要求非常清晰，但是实际上网公开的裁判文书远远少于应该公开的文书；其二，最高院虽然提出明确要求上网公开，但是否上传、如何上传、何时上传是由做出裁判的法官来操作的，而后者的实践逻辑并不透明、千差万别；其三，在已经上网公开的数据信息中，不同法院、不同法官之间对裁判文书的隐名类项和隐名程度还存在把握不一致的情况，很多不应该被隐名或者被删除的信息，被不恰当隐名或者删除了；以及其他一些问题。所以，到目前为止，我们口中的“法律大数据”，还只是一个虚构的大饼。对于有志于从事法律大数据分析的人而言，现阶段还只能画饼充饥。当然，客观上的法律基础数据建设得不理想，并不等于实证研究中的量化数据一定有问题。事实上，法律实证研究的发展已有时日，并不是法律大数据时代的产物——尽管后者是个巨大的催化剂。当前法律实证研究中量化数据的问题还在于，研究者在主观上违反了社会科学研究的一些基本要求，使得样本数据的应用在很大程度上失去信度和效度。我在这里以对判决书的量化研究为例来说明存在的问题。第一个问题是样本数据库中判决书样本的代表性问题。目前，判决书量化研究基本上都在中国裁判文书网上选取样本。裁判文书网给外界的第一印象是数量巨大。但是，认真利用裁判文书网做过研究的人都知道，其实上网的判决书离实际做出的判决书的差距不小。问题的关键是，哪些文书上网了，哪些文书没有上网，并没有官方的说明——我自己猜测，连最高法院负责这项工程的领导也未必知道。如前述，毕竟最高法院只能给出政策，而实际的数据传输得最终依赖执行审判工作的千千万万个法官去落实。某种意义上讲，裁判文书上网的真实标准，至今还是个一个谜。基于裁判文书网做的研究，有时候我们可以得到“海量”信息，但未必能得到“科学”信息。尽管信息的多寡是评判量化实证研究的一个重要标准，但是信息的“科学性”才是最重要的标准。目前，相当一部分实证研究作品中，通常直接利用网上所能得到的裁判文书信息去推论整体的情况。这种从样本判决书到全样的推论，应当谨慎处理。中国裁判文书网尚且如此，之前比较盛行的利用法意数据库、法宝数据库的研究更是如此。第二个问题是，给定特定判决书的选择范围（比如说裁判文书网、法意数据库或者法宝数据库等），实证研究者未能说明判决书样本的实际选择标准和过程，使得分析样本数据的边界具有模糊性。前文提到，当前公开的大量裁判文书并非完全是标准化的信息。所以，实证研究者在采集数据过程中，或多或少会采取一定的主观判断，以使得样本数据符合自己的研究需求。这个过程如果处理得好，在原则上并没有问题。然而，在实践中，一些实证研究作品对判决书采集的过程描述得非常模糊——有时候甚至像在保护商业密秘。在极端情况下，一部分研究时间跨度较长的研究中，实证研究者自己前后采取样本数据的标准不一，导致数据收集的过程非常不具有可重复性。同时，由于各类判决书数据库都处于动态的更新过程中，所以即便研究者自己确定了选择范围边界（比如采集2014至2016年间的同类判决书），事实上的样本多少也会随着时间的推移而变动，让问题变得更加复杂。第三个问题是，即便样本判决书的采集标准清晰、范围大体确定，但是对其中具体变量的编码与采集存在处理过程非常模糊的问题。在应用裁判文书做量化研究中，如果数据采集的过程是科学、清晰和透明的，那么原则上，我们可以“照葫芦画瓢”，通过同样的方式来找到同样的判决书，摘取同样的变量，对变量进行同样的定义，做同样的统计分析。然而，正如前文所述，判决书中的有些变量是比较清楚的，比如裁判年份、审级、地区等。但是，有些变量是非常个性化的，则需要作者认真予以说明其含义，以及遇到问题时处理的方法。比如，我和柯振兴的一个关于劳动合同违纪解决案件的实证研究就遇到了类似的问题。在我们的研究中，劳动者是否胜诉是一个关键——事实上，是否胜诉几乎是所有判决书研究的关键变量。但是，这个看起来很简单的变量，在数据收集过程中，都会遇到不少的麻烦，因为在违纪解除案件中，当劳动者提出经济赔偿金或者恢复劳动关系时，会有五种潜在的判决结果。其中一种情况是，劳动者主张经济赔偿金，法院判决用人单位支付经济补偿金（经济赔偿金的数额通常是经济补偿金数额的两倍）——这种情况就很难判定劳动者是否胜利了。所以，我们不得不在文章中做非常详尽的解释，并做一个“胜诉”的操作定义。相比之下，目前发表的相当一部分判决书的实证研究，对重要变量的编码与界定，显得有些漫不经心，至少给读者的印象是如此。判决书取舍范围不清晰、关键变量的界定不清晰等问题结合在一起，使得其他研究者（甚至作者本人）很难应用同样的方法，得到同样的数据，进行同样的分析。同时，由于前文提到的数据普遍不公开现象，意味着已经发表的法律实证研究作品，几乎没有办法做跟踪研究、对话研究。当然，上面提到的数据问题，只是应用裁判文书做法律实证研究中存在的部分数据问题。除了裁判文书的量化研究之外，利用调查问卷、统计年鉴、市场数据、网页信息等数据形态的实证研究，也都存在形态各异、程度不一的数据不足问题。比如，针对三份司法制度运作的调查问卷研究，徐昕归纳了出题不科学、选项不周延、选项内涵模糊等在内的大大小小26个数据收集与统计分析方面的问题。再如，就利用官方统计数据进行多元纠纷解决机制的实证研究中，范愉认为存在统计数据不准确、统计范围有限、统计分类不够科学等问题。总之，法律数据在客观上的不完备以及在使用过程中的不科学性，在当前的法律实证研究中是普遍存在的。季卫东、程金华主编《风险法学的探索：聚焦问责的互动关系》
上海三联书店，2018年版
（图片来源于豆瓣网）
数据的问题自然会牵连到统计分析。在量化实证研究中，高品质的数据是获得科学证据的基础，然而有了高品质量化数据，未必就能有科学的发现。我们还得依赖合理、科学的统计操作。这个过程包括前文提到的变量选取与编码，还有简单的事实描述、双变量分析、统计模型搭建、回归分析、验证稳健性、回归结果解读，以及对经验发现的总结和推论等一系列过程。很显然，正如爱泼斯坦和金所言，在这些过程中，都可能出现问题，并违反社会科学规范。当前部分中国法律实证研究作品的统计显得非常随意。在现有的作品中——尤其是那些虽然已经写出来但是在评审过程中被“枪毙”的稿件中——一个常见的问题是，研究者提出了非常有趣的选题，但是在变量操作时，变得“粗枝大叶”，有时甚至跑题千里。我曾经读到一个还未发表的研究稿件，其中把“获救济率”作为被解释变量。作者把“获救济率”定义为法院裁判结果与受害人（原告)诉讼请求之间的比例数值，代表着原告诉求获得司法裁判支持(被满足)的程度。我的理解是，该研究的意图是分析原告实际发生的损失与法院的司法救济之间的比率，是一个非常有意义的测量司法公正的指标。但是，用“受害人(原告)诉讼请求”去测量原告的实际损失，显得非常随意。这种随意显现的是研究者对变量操作化过程的轻视。事实上，如何合理操作化研究中的主要变量——包括被解释变量和主要的解释变量——本身是衡量一个量化研究作品优劣的最重要标准之一。一些社会科学中经典的量化研究，其主要贡献也是解决了某个重要变量的操作化问题。在这个意义上讲，我们兴许要宽容对待变量操作中的“软伤”，同时杜绝那些明显错误的“硬伤”。而现有不少法律实证研究作品中，对主要变量的定义与操作有点随意，“伤”得有点硬。几乎在变量选择与操作的同时，量化研究者就已经开始思考如何搭建统计模型了。在针对中国法律的实证研究中，研究者们面临着一个棘手的问题：如何搭建一个精简的统计模型？由于很多实证研究都是相关领域的开拓性研究，因此并没有现成的统计模型可以借鉴。在这种情况下，研究者往往不是根据理论要求来建模，而是根据数据中已有的变量信息来建模。比如，在判决书的量化研究中，研究者往往只能根据判决书提供的信息来确定变量，受制约很大，模型的随意性也很大。在大部分时候，模型中为什么放了A变量，而没有B变量，往往是供给导向的，而不是需求导向的。这种建模的方式与过程，往往和研究所要验证的命题假设不符，未必能直接回应文章提出的话题和解决话题背后的问题，因此有很大随意性。相比较之下，“学术论题共同体”在中国其他社会科学领域里、在美国法学界就更加成熟。比如，在中国社会学界，关于当代中国分层的实证研究，就形成了一批稳定的作者群，存在彼此之间可以相互借鉴、批评的统计模式，以及比较成型的理论体系。在美国，法律实证研究的“小圈子”也比较稳定。比如，对死刑效果的量化研究中，尽管研究者观点非常不一致，但也存在大体上可以借鉴、学习、争鸣的成熟统计模式。当前，判决书的量化研究已然成了一股新的法律实证研究潮流，并吸引了越来越多的跨界研究，比如经济学者、社会学者和政治学者对判决书的量化研究。其他社会科学领域学者加入到中国法律实证研究阵营中来，是件好事，对于推动这项事业有非常明显的好处。然而，一个潜在的问题是，受他们自身学科背景的影响，经济学者、社会学者和政治学者在统计模型搭建中，有时候会“用药过猛”，过于“卖弄”统计数据与技术，导致文章变得非常没有可读性，甚至变得“面目可憎”。换言之，受制于种种原因，目前适合中国法学界人士阅读，变量设计、统计模型建构和分析得“刚刚好”的作品还不多。一个相关的问题（或者有待开拓的领域）是，把裁判文书、统计年鉴、政府文书、市场数据、调查问卷和网页信息等关联数据整合在一起做量化研究的作品非常罕见。如果这几类法律数据能够整合在一起，便有建成真正意义上“法律大数据”的可能。如果这样的话，模型建构中变量选择的余地会大大拓宽，统计分析从供给导向转变为需求导向便有可能。在确立了模型之后，接下来的自然是利用数据进行统计分析、描述数据、解读回归结果。由于缺乏可以借鉴的形成统计模式，加上前文提到的理论应用乏力和数据不足等原因，导致中国法律实证研究者在统计结果汇报和解读上要么“一股脑儿”全端上来，要么可能非常粗略地罗列数据，很难明确汇报和解释的重心。同时，由于部分法学刊物甚至要求文章不能带表格或者少带表格，使得统计结果的报告和解读更加草率。最后，统计分析的事实报告和理论总结之间通常还有一个事实推论的过程，其中也非常容易出现衔接不当问题。实证研究的“兴奋点”不仅仅在于通过统计技术发现事实，还在于基于现有事实发现所进行的“推论”，包括事实的推论和理论的推理。在事实推论方面，有两种类型，一种是“由此及彼”，第二种是“由少及多”。而这两种事实推论就可能发生问题，前面一种的潜在问题是“此”与“彼”没有可比性，后面一种的潜在问题是以偏概全。如果这样的话，实证研究所涉及到的经验证据要素与结论要素之间的衔接就发生了问题。当然，统计分析过程中存在的问题，不仅仅存在于当下中国的法律实证研究作品中。这些问题至今还遍布在美国的法律实证研究作品中——尤其是学生编辑的法律评论中。除了前文提及的爱泼斯坦和金对美国同行的批评以外，其他美国学者也频频指出本国法律实证研究中的统计问题。比如，凯瑟琳•蔡勒(Kathryn Zeiler)最近撰文认为，美国法律实证研究中统计分析的“硬伤”(objective errors)几乎无处不在，包括错误地使用“P值”和“统计显著性”，错误地阐释回归分析结果，错误地应用统计结果，以及忽视结果发生所需要满足的前提条件，等等。尽管美国同行的错误并不能正当化中国法律实证研究者的同样错误，但是这也充分说明统计操作的规范化与科学化是中国法律实证研究所面临的重大挑战之一。本文的用意是推进、引导针对当前中国法律实证研究问题的技术讨论、批评与反思。更确切地说，是推进中观和微观层面的技术批评与实践反思。读者可以看出来，本文的批判，不是价值意义上的反对，而是“形而下”的检讨。在价值上，作为法律实证研究的实践者，我深深地认同实证研究方法在推动中国法学发展中的价值。也认为，中国同行们已经为我们奉献了越来越多的优秀作品。但也在另一方面，我们应该意识到，任何一种研究方法都有它的弊端：有些弊端是根本性的，有些弊端是操作不当而造成的。对于后面一种问题，更值得从事法律实证研究的同仁们去反思、改进，并在这个基础上进行积极的理性建设。在本世纪初，针对美国法律实证研究普遍存在的各种不规范问题，爱泼斯坦和金建议美国法学界应该加强法律实证的“研究基础设施”(research infrastructure)建设。为此，他们提出了如下几条建议：其一，给法学院的学生开设实证研究课程；其二，给法学院的教师提供从事高质量实证研究的机会，包括提升他们的方法论技巧和提供研究资源以节省老师时间；其三，鼓励法官、律师等法律业界的雇主雇佣有实证研究训练的学生；其四，改革法学杂志的管理机制，尤其是学生编辑的法律评论的编辑机制，鼓励更多的同行评审；其五，发展法律数据档案引用、检索的标准，以便夯实法律实证研究共同体。对于美国这两位社会科学家的建议，一方面，美国法学界予以驳斥，反对法学研究中的“社会科学帝国主义”，并坚定认为，法学研究有不同于社会科学(实证研究)的独特逻辑，尤其是体现在对法律规范和判例教义的诠释上。另一方面，美国的法律实证研究也的确沿着这两位学者所指明的方向发展。比如，进入新世纪以后，美国法学界的合作实证研究便有了可观的发展。甚至，有美国学者把爱泼斯坦和金的建议归纳为从“法评实证主义”(law review empiricism)迈向“社科实证主义”(social science empiricism)。毫无疑问，与美国同行相比，中国问题既有共性也有差异性。在法律实证研究领域，和其他大部分的领域一样，中国的问题更接近美国早先年的问题——也就是爱泼斯坦和金所提到的那些问题，有些问题更加明显，有些甚至显得更加幼稚。美国有学者担忧，法学院出现了过度“社会科学化”问题。这个问题很显然在目前中国大陆的法学界并没有出现。针对当前中国法律实证研究的问题，我之前也提过一个类似的建议，那就是共同努力建设一个开放的中国法律实证研究学术共同体。这个学术共同体最好能包含如下几个要素：其一，开放、共享的数据平台。目前的数据公司在一定程度上可以帮助实现这个目标，但是还不够。其二，通过共同举办研讨会、出版刊物等方式，“切磋”实证研究的技艺，共同提升实证研究的能力与影响，发展可以科学研究的理论范式。其三，共同训练学生和年轻学者，壮大这个学术共同体。其四，条件成熟时，就重大立法、法律改革问题做集体性合作研究，提供真正有社会影响的学术研究。这是一个互助、互惠的事业。但是，在同时，值得警惕的是，要避免共同体建设中“黑暗面”，尤其是避免闭门造车，杜绝这个共同体成为一个纯粹学术资本分配与再分配的机器。因之，这个共同体必须是开放的、互惠的。在上述建议以后至今的两年多时间里，中国的法律实证研究有了一些显著的进步。法学界对实证研究的认可度普遍高涨，在个别时候甚至达到了“太好了以至于难以置信”(too good to be true)的程度。不仅最高人民法院的裁判文书上网工程催生了一个“法律大数据”的产业，与此同时，诸如“中国法律实证研究年会”、“迈向数据法学”、“人工智能与法律”这样的学术研讨会频频召开，包括《中国法律实证研究》和《实证法学研究》这样的出版物已经面世，一个相对稳定的法律实证研究共同体呼之欲出。如果说，中国法律实证研究共同体已经大致形成的话，下一步的工作是什么？我以为，更应当注重研究基本功的“修炼”，推进基本数据的共建与共享，培育更多的“学术论题共同体”。一方面，在大数据时代，数据的丰富可以更好掩盖研究技术方面的问题，会导致实证研究更具误导性和欺骗性。在另一方面，在大数据时代，研究基本功的改善，又更能释放大数据所蕴含的知识能量，提升法律实证研究对于改善中国法治的真实影响力。所以，前文提到的选题、理论、证据和结论等方面的技术问题，值得认真对待。本文提供一个反思实证研究的“内部人”视角，正是出于如此初衷。本文继续提出如下一些新的建议。在技术操作层面，在未来一段时间里——大约是一代学人成长的10年左右时间里，中国的法律实证研究在操作层面，应当走向“科学化”。实证研究科学化的核心要义之一是——正如白建军指出的那样——要遵循科学的研究程序。前文图1是对法律实证研究“正当程序”的一个概括，而之后分析到的研究选题的乏味、理论应用的乏力、量化数据的不足、统计操作的随意，以及这些具体问题所展现的研究要素的残缺、转换不当、衔接不科学，都是对实证研究正当程序的违背。谨以此文与中国从事法律实证研究的诸君共勉，共同努力推进法律实证研究的科学化。